Mosaic: A Fleet of User Embedding Specialists for Recommendation at Meta
Mosaic：基于异构专家舰队的工业级用户嵌入平台
🧭 用户表征多专家舰队 ★ 深度解读
Meta
设计四种异构专家模型分别捕捉用户行为侧面，结合MRM与CRL消除冗余，离线NE与线上多面指标均提升
📌 工作参考价值（4 点）
- 模型架构选择：将用户信号拆分为稀疏ID、密集统计、行为序列和下游任务对齐四类，分别使用记忆型哈希表、DCN/MHTA等密集交互网络、HSTU序列模型和CoTrain端到端梯度对齐，避免单一模型在多目标上共享容量的折中。
- 增量信息保障：当已有多个嵌入在线上服务时，新嵌入训练可引入MRM（对相关任务做Spearman聚类，用笛卡尔积构建细粒度复合监督标签）与CRL（余弦冗余损失，鼓励新嵌入与已有嵌入正交，配合warm-up调度），有效对抗边际收益递减。
- 评估提效：CoEval 冻结用户塔并在下游排序器中就地计算ΔNE，跳过特征日志积累与回流重训，可将迭代周期缩短3~5倍；User Tower Zero-Out 则可快速衡量上游模型中用户塔的增量值，二者均值得在解耦用户建模流程中推广。
- 混合在线/离线服务：根据新鲜度需求选择CPU在线、GPU在线或GPU离线批量生产用户嵌入；GPU在线推理叠加AOTInductor编译、模型拆分与2小时TTL的memcache，累计可降低79%的GPU用量并微幅改善延迟。